B

\(\Leftrightarrow2\left(cos^2x-sin^2x\right)+sinx.cosx\left(sinx+cosx\right)=m\left(sinx+cosx\right)\)

\(\Leftrightarrow\left(2cosx-2sinx\right)\left(sinx+cosx\right)+sinx.cosx\left(sinx+cosx\right)=m\left(sinx+cosx\right)\)

\(\Leftrightarrow\left[{}\begin{matrix}sinx+cosx=0\left(\text{vô nghiệm trên đoạn xét}\right)\\2cosx-2sinx+sinx.cosx=m\left(1\right)\end{matrix}\right.\) 

Xét (1), đặt \(t=cosx-sinx=\sqrt{2}cos\left(x+\dfrac{\pi}{4}\right)\)

\(\Rightarrow\left\{{}\begin{matrix}t\in\left[-1;1\right]\\sinx.cosx=\dfrac{1-t^2}{2}\end{matrix}\right.\)

\(\left(1\right)\Leftrightarrow2t+\dfrac{1-t^2}{2}=m\)

Xét hàm \(f\left(t\right)=-\dfrac{1}{2}t^2+2t+\dfrac{1}{2}\) trên \(\left[-1;1\right]\)

\(-\dfrac{b}{2a}=2\notin\left[-1;1\right]\) ; \(f\left(-1\right)=-2\) ; \(f\left(1\right)=2\)

\(\Rightarrow-2\le f\left(t\right)\le2\Rightarrow-2\le m\le2\)

Lời giải:
PT $\Leftrightarrow 3\sin x-4\sin ^3x-m(1-2\sin ^2x)-(m+1)\sin x+m=0$

$\Leftrightarrow \sin x[4\sin ^2x-2m\sin x+(m-2)]=0$

Dễ thấy trường hợp $\sin x=0$ ta thu được 2 nghiệm thuộc $(0;3\pi)$

Giờ ta cần tìm $m$ sao cho $4\sin ^2x-2m\sin x+(m-2)=0(*)$ có 6 nghiệm thuộc $(0;3\pi)$. Tất nhiên đảm bảo $\sin x\neq 0$

Đặt $\sin x=t(t\in [-1;1]$) thì PT $(*)$ trở thành:

$4t^2-2mt+(m-2)=0(I)$

$\sin x\neq 0\Leftrightarrow t\neq 0\Rightarrow m\neq 2$

Nếu $t=1$ thì $m=2$ (vô lý) nên $t\neq 1$)

Vậy $t\in [-1;1)$ và $t\neq 0$

$\Delta'_{(I)}=m^2-4(m-2)=(m-2)^2+4>0$ nên pt $(I)$ luôn có 2 nghiệm $t_1,t_2$ phân biệt.

Bây giờ bạn vẽ đồ thị hàm sin ra.

Nếu $t_1,t_2\in (0;1)$ thì ứng với mỗi $t$ ta có 4 nghiệm $x$ thỏa mãn

$\Rightarrow (*)$ có 8 nghiệm (loại)

Nếu $t_1,t_2\in [-1;0)$ thì ứng với mỗi $t$ ta có nhiều nhất $2$ nghiệm $x$ thỏa mãn

$\Rightarrow (*)$ có nhiều nhất 4 nghiệm (loại)

Nếu $t_1\in (0;1)$ và $t_2\in (-1;0)$ thì đảm bảo $(*)$ có 6 nghiệm.

$\Leftrightarrow 1>t_1>0>t_2>-1$

Điều này xảy ra khi: \(\left\{\begin{matrix} t_1t_2< 0\\ (t_1+1)(t_2+1)>0\\ (t_1-1)(t_2-1)>0\end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} t_1t_2< 0\\ t_1t_2+(t_1+t_2)+1>0\\ t_1t_2-(t_1+t_2)+1>0\end{matrix}\right. \)

\(\Leftrightarrow \left\{\begin{matrix} \frac{m-2}{4}< 0\\ \frac{m-2}{4}+\frac{m}{2}+1>0\\ \frac{m-2}{4}-\frac{m}{2}+1>0\end{matrix}\right.\Leftrightarrow 2> m> \frac{-2}{3}\)

\(\Leftrightarrow\left(1-sinx\right)\left(cos2x+3msinx+sinx-1\right)=m\left(1-sinx\right)\left(1+cosx\right)\)

\(\Leftrightarrow\left[{}\begin{matrix}sinx=1\Rightarrow x=\dfrac{\pi}{2}\\cos2x+3m.sinx+sinx-1=m\left(1+sinx\right)\left(1\right)\end{matrix}\right.\)

Bài toán thỏa mãn khi (1) có 5 nghiệm khác nhau trên khoảng đã cho thỏa mãn \(sinx\ne1\)

Xét (1):

\(\Leftrightarrow1-2sin^2x+3msinx+sinx-1=m+m.sinx\)

\(\Leftrightarrow2sin^2x-sinx-2m.sinx+m=0\)

\(\Leftrightarrow sinx\left(2sinx-1\right)-m\left(2sinx-1\right)=0\)

\(\Leftrightarrow\left(2sinx-1\right)\left(sinx-m\right)=0\)

\(\Leftrightarrow\left[{}\begin{matrix}sinx=\dfrac{1}{2}\Rightarrow x=\dfrac{\pi}{6};\dfrac{5\pi}{6}\\sinx=m\left(2\right)\end{matrix}\right.\)

\(\Rightarrow\left(2\right)\) có 3 nghiệm khác nhau trên \(\left(-\dfrac{\pi}{2};2\pi\right)\)

\(\Leftrightarrow-1< m< 0\)

Từ đường tròn lượng giác, trên \(\left(-\dfrac{\pi}{2};3\pi\right)\):

- Nếu \(0< t< 1\) thì \(sinx=t\) có 4 nghiệm

- Nếu \(-1< t< 0\) thì \(sinx=t\) có 3 nghiệm

- Nếu \(t=0\) thì \(sinx=t\) có 3 nghiệm

- Nếu \(t=1\) thì \(sinx=t\) có 2 nghiệm

- Nếu \(t=-1\) thì \(sinx=t\) có 1 nghiệm

Do đó pt đã cho có 5 nghiệm pb trong khoảng đã cho khi:

\(2t^2-\left(5m+1\right)t+2m^2+2m=0\) có 2 nghiệm pb thỏa mãn:

- TH1: \(\left\{{}\begin{matrix}t_1=-1\\0< t_2< 1\end{matrix}\right.\)

- TH2: \(\left\{{}\begin{matrix}-1< 0< t_1\\t_2=1\end{matrix}\right.\)

- TH3:  \(\left\{{}\begin{matrix}t_1=0\\t_2=1\end{matrix}\right.\)

Về cơ bản, chỉ cần thay 1 nghiệm bằng 0 hoặc 1 rồi kiểm tra nghiệm còn lại có thỏa hay ko là được